最近，已证明有监督的对比度学习（SCL）在大多数分类任务中都能取得出色的表现。在SCL中，对神经网络进行了训练，可以优化两个目标：在嵌入空间中将锚定和阳性样品一起拉在一起，并将锚点推开。但是，这两个不同的目标可能需要冲突，需要在优化期间之间进行权衡。在这项工作中，我们将SCL问题作为Roberta语言模型的微调阶段的多目标优化问题。使用两种方法来解决优化问题：（i）线性标量（LS）方法，该方法可最大程度地减少持久性损失的加权线性组合； （ii）确切的帕累托最佳（EPO）方法，该方法找到了帕累托正面与给定优先矢量的相交。我们在不使用数据增强，内存库或生成对抗性示例的情况下评估了几个胶合基准任务的方法。经验结果表明，提出的学习策略大大优于强大的竞争性学习基线
translated by 谷歌翻译
我们从统计学习理论的角度调查分类生物神经网络的功能，以简化的设置为具有身份激活功能的连续时间随机经常性神经网络（RNN）。在纯粹的随机（鲁棒）制度中，我们提供了具有高概率的概括误差，从而表明经验风险最低限度是最典型的假设。我们表明RNNS保留了作为攻击培训和分类任务的唯一信息的路径的部分签名。我们认为这些RNNS很容易培训和强大，并在合成和实际数据的数值实验中培训和稳健。我们还在准确性和稳健性之间表现出权衡现象。
translated by 谷歌翻译